Het kasteel van Huldenberg was een vierkante middeleeuwse burcht met hoektorens die tussen 1811 en 1819 werd gesloopt.
In 1820 werd een nieuw kasteel gebouwd dat hetzelfde jaar afbrandde. In 1848 werd het terug opgebouwd. In 1926-1927 werd het grondig verbouwd in Vlaamse neorenaissancestijl.
Het herbergt een belangrijke bibliotheek, een verzameling porselein, merkwaardige meubelen, Oudenaardse tapijten en een portrettenreeks van de familie de Limburg Stirom en Baudequin de Peuthy, bewoners van het huidige kasteel.
De familie de Limburg Stirum heeft altijd een behoorlijke rol gespeeld in de Huldenbergse gemeentepolitiek. De overleden gravin was erg actief tijdens de Tweede Wereldoorlog. Zij heeft ervoor gezorgd dat tientallen Huldenbergdenaars uit de handen van de Duitse bezetter konden blijven.
Felix Sohie uit Hoeilaart, tuinman van Baron de Baudequin de Peuthy, legde in de serre van het kasteel in 1861-1863 de grondslag van de druiventeelt onder glas.